J-Comm：基于雅可比引导的 LLM 智能体间潜在通信
🧭 多智能体潜在通信与推理加速
The University of Melbourne · Shanghai Jiao Tong University
用无需训练的 GEAR 潜在推理与 H+J 隐式/雅可比双通道接口，让不同宽度 LLM 智能体高效传递推理状态并大幅减少文本 token
📌 工作参考价值（4 点）
- 可将 H+J 接口用于跨模型 Agent 协作：H 通道传递连续输入，J 通道注入雅可比中间状态，无需共享 KV cache 或相同宽度，适合电商多模型（如召回/排序/文案 Agent）异构部署。
- GEAR 属于训练免重排：在已有模型 embedding 上按几何共识单调优化 token 候选，可直接作为 LLM 推理后处理，低成本提升生成质量。
- J-Comm 相对 TextMAS 减少 19.2–74.8% 文本 token，能在 Agent 密集交互（如商品文案生成、对话式推荐）中显著降低推理延迟和 token 成本。
- J 通道的 vocabulary-indexed Jacobian-lens 坐标提供中间计算的可观测视角，可用于模型诊断、蒸馏或跨模型知识迁移。
Draft-KV：学习语言模型间有价值的潜在通信
🧭 LLM 潜在通信 · KV Cache 传输
City University of Hong Kong · University of Science and Technology of China · University of Electronic Science and Technology of China · AIPD, Tencent · Theory Lab, Huawei
提出 Draft-KV，用 sharer 草稿过程的 KV 状态经门控侧记忆接口传给 frozen 小模型，显著提升协同推理
📌 工作参考价值（4 点）
- 在多模型 Agent 链路中，让大模型（sharer）提前对候选 query/商品/用户意图草拟推理，并把草稿过程的 KV cache 暂存为侧记忆；线上由小模型接收这些 KV 做最终决策或生成，接口参数仅 ~1M，两端模型冻结，部署成本远低于全量微调。
- 接口设计可借鉴「线性投影 + 门控 attention 分支」：不把通信状态注入主隐层，而是作为 side memory 参与注意力，避免干扰小模型已有表示；门控可控制通信信息的权重，便于线上 A/B 开关和降级。
- 训练采用两阶段 progressive：先做 message reconstruction 对齐表示，再转到 answer supervision；并加入 mismatched message 的 guard 损失，防止通信缺失或错配时模型被带偏，这对推荐中的多路召回/多模型融合也有参考。
- 验证通信是否真被使用：用随机替换消息做控制实验，若替换后指标几乎不变，说明增益来自接口结构而非信息内容；在推荐/广告引入 LLM 通信或增强时，应做同样消融，避免伪提升。
面向LLM-Agent工作流中并行分支的直接隐空间合成
🧭 Multi-Agent 并行合成 · KV cache 复用 ★ 深度解读
Georgia Institute of Technology · Meta
让合成器直接消费并行Worker的KV cache，通过两阶段训练和cache映射实现高效高质量的并行分支汇总
📌 工作参考价值（4 点）
- 用KV cache替代文本串联进行Agent间通信：在并行子Agent完成推理后，直接复用其KV cache，避免重新编码文本前缀，大幅降低TTFT。对电商客服、多工具调用等并行任务可显著提升响应速度。
- 两阶段训练策略值得借鉴：先通过大规模并行上下文对话数据做通用适应（Track 1），再通过蒸馏文本合成轨迹获得推理能力（Track 2），最后合并checkpoint而非顺序微调，能避免遗忘并平衡泛化与推理。这在需要同时处理简单汇总和复杂判断的推荐/问答系统中可复用。
- 可学习的Cache Mapper + LoRA组合：使用MLP根据分支数、长度生成仿射校准系数，配合LoRA适配，让模型适应非顺序的cache输入。工程上成本低，可作为即插即用模块接入现有的并行Multi-Agent流程。
- 轨迹信息选择对效率敏感：实验表明只传worker的final output能实现最佳准确率-延迟折衷，传完整轨迹虽准确率高但开销大。在电商推荐Agent中，可优先压缩子Agent输出为简洁摘要再合成，避免完整交互历史的重传。
看见我所见，知晓我所想：异构智能体的密集隐空间通信
🧭 多智能体隐空间通信 · 异构KV缓存对齐 ★ 深度解读
University of Michigan · NVIDIA · University of Pennsylvania · University of Colorado Boulder · Michigan State University
提出异构多智体KV缓存密集对齐框架，实现跨模型知识迁移和高效通信，计算量降低2-3倍。
📌 工作参考价值（4 点）
- 跨模型知识迁移：在电商多模型 Agent 系统中（如不同尺寸LLM协作），可直接使用论文的两阶段训练（Phase I 重建对齐，Phase II 生成微调）和跨模型 KV-cache 适配器，让大模型直接将自己的“思考状态”注入小模型，避免重复编码上下文，大幅降低推理成本。
- 上下文不感知的高效通信：当接收方 Agent 无法访问原始输入（如隐私限制或带宽限制），论文的密集对齐方法可作为现成方案，将发送方的知识与推理一并压缩进 transformable KV-cache，接收方仅凭 cache 即可完成任务，这适用于电商推荐中跨域、跨设备的同步策略。
- 稀疏推理信号与门控机制：压缩感知分析指出上下文感知通信仅需少量 KV 组即可作为推理指引，可借鉴其按头组门控选择与重要性评分，在生成式推荐或 query 理解中，对跨模型传递的“提示信号”进行选择性裁剪，兼顾精度与效率。
- 位置解耦与层对齐：论文中剥离 RoPE 进行内容匹配的设计，可迁移到异构 Transformer 间的特征迁移场景，例如将不同结构的推荐模型（双塔、多模态编码器）的中间表示进行对齐，实现模块级复用。
LCGuard：多智能体系统中安全 KV 共享的隐通信守卫
🧭 多智能体安全隐通信优化
Rensselaer Polytechnic Institute · IBM Research
通过对抗训练学习 KV 缓存变换，在保持任务性能的同时降低多智能体隐通信中的敏感信息泄露
📌 工作参考价值（4 点）
- 在多智能体联合推理的电商或客服场景中，若不同 Agent 通过 KV 缓存共享中间推理状态，可借鉴 LCGuard 的对抗训练框架，在缓存传输前插入可学习的表示变换层，降低用户隐私泄露风险。
- 可以将敏感信息重构成功率作为一种可量化的隐私泄露指标，用于评估和监控分布式 Agent 系统内部的通信安全性。
- 对抗训练的分治策略（保留任务语义、压制敏感信息）可推广到其他需要交换隐向量的推荐或检索组件中，例如生成式推荐中的 Semantic ID 传递。
- 工程实现上，LCGuard 的变换模块轻量、可插拔，不改变原有 Agent 结构和推理流程，适合已有流水线的逐步升级。